自然言語処理サービスの Amazon Comprehend についてまとめてみた #reinvent

ども、藤本です。

AWS re:Invent 2017 にて自然言語処理（Natural Language Processing）サービスの Amazon Comprehend がリリースされました。弊社ブログでも既にいくつか記事が取り上げられています。

• 【速報】AWSの自然言語処理サービス、Amazon Comprehendが発表されました！ #reinvent
• Amazon ComprehendのAPI explorerを使ってみる #reinvent
• Amazon ComprehendのTopic modelingを使ってみる #reinvent

本エントリでは Amazon Comprehend をもう少し深掘りしてみます。

自然言語処理

Amazon Comprehend は自然言語処理サービスと記載しましたが、自然言語処理とは何でしょうか。普段私たちが使っている言葉（話している内容でも、書いている内容でも）が自然言語です。自然言語は人間にとっては今まで学んだことや経験から意味を理解することができますが、コンピュータには難しいです。自然言語をコンピュータに処理させる技術を自然言語処理と呼びます。

自然言語処理自体も多くの技術によって成り立っています。代表的なものをいくつかご紹介します。

• 形態素解析 文章を単語、品詞などに分解します。文章はコンピュータにとっては文字の羅列です。どこからどこまでの文字が意味のある単位なのかを解析します。
• 構文解析 文章の単語、品詞の関係性を解析します。品詞がどの品詞に係っているのかを解析します。
• 照応解析 照応詞の指示対象を推定します。「それ」や「あれ」、「彼」や「彼女」が何を指しているのか解析します。

詳しく知りたい方は以下の記事が非常に分かりやすくまとめられています。

• https://qiita.com/MahoTakara/items/b3d719ed1a3665730826

Amazon Comprehend と自然言語処理

Amazon Comprehend は機械学習を活用して、自然言語処理を提供するサービスです。機械学習には Amazon.com の商品説明や、商品レビューなどの大規模なコーパスなど様々な情報源から学習しています。日々学習し、結果の精度を向上させています。

現状 Amazon Comprehend でできることは以下の通りです。

対応している言語

主要言語の検出機能	100言語（日本語含む）
その他検出機能 Topic Modeling	英語、スペイン語

Entity の検出

単語、文章の集合（以下、ドキュメント）から Entity、および属するカテゴリを検出します。Entity は下記のカテゴリに属する単語、連語を指します。

• Detecting Entities

Entity タイプ	説明	例
COMMERCIAL_ITEM	プロダクト名を検出します	Comprehend, RDS
DATE	日付や時刻を検出します	2017/12/01, 12:34:56
EVENT	イベントに関するワードを検出します	Halloween, christmas
LOCATION	国名、地名などを検出します	Japan, Mt.Fuji
ORGANIZATION	会社名や、組織名を検出します	Amazon, Republican
PERSON	人名を検出します	​Donald John Trump, ​Daisuke Sasaki
QUANTITY	数量を検出します	​115, one hundred fifteen
TITLE	創作物の名称を検出します	​Star Wars
OTHER	上記に属さない Entity を検出します	Japanese

また Entity の検出は単語で判断しているわけではなく、文脈によって判断されます。同じ単語も文脈によっては結果が変わることもあります。

マネジメントコンソールから見る例

マネジメントコンソールで Comprehend を開くと、デフォルトで入力されている文章からどのような結果が返るのか見てみましょう。

「Amazon.com, Inc.」、「Starbucks」といった会社名がORAGANIZATION、「Seattle, WA」、「Portland」といった地名がLOCATIONとして検出されています。またそれぞれに信頼性といった情報も付与されています。

キーフレーズの検出

ドキュメントから重要なフレーズを検出、抽出します。ドキュメントの特徴的な名詞を得ることができます。ドキュメント群から抽出したフレーズでカテゴライズできたり、検索キーワードとして活用したりできるのかな。

マネジメントコンソールから見る例

先ほどと同じ文章からどのような結果が返るのか見てみましょう。

先ほどと結果は似ていますが、キーフレーズは Entity とは若干異なる単語の抽出となっています。あくまでも分類されたフレーズの抽出と、ドキュメントの中で重要と思われるフレーズの抽出は目的が異なるので結果も異なります。

主要言語の検出

ドキュメントがどの言語で記載されているのか検出します。その他検出が英語、スペイン語の 2種類に対して、主要言語の検出は 100種類の言語に対応しています。日本語も含まれています。

マネジメントコンソールから見る例

先ほどと同じ文章からどのような結果が返るのか見てみましょう。

サンプルは英語なのでenで検出されます。

日本語も検出できます。

感情の検出

ドキュメントがどのような感情で記載されているか検出します。下記4種類で結果を返します。

• 肯定的
• 否定的
• 混在
• 中立

エゴサしたくなりますね笑

マネジメントコンソールから見る例

先ほどと同じ文章からどのような結果が返るのか見てみましょう。

特に感情的な単語はないのでほぼ Neutral（中立）となっています。

ネガティブな文を入れてみます。

ネガティブの数値が高くなりました。

Topic Modeling

複数のドキュメントから LDA ベースの学習モデルを使用して、共通のトピックを判断することができます。例えば、「EC2 は秒単位で課金されるコンピュートサービスです」といったドキュメントから弊社ブログを読んでいる読者であれば、「AWS」という単語がなくとも AWS の話ということが判断できるかと思います。これはドキュメントに含まれる単語からトピックに関連付けて。ここでいう Topic はカテゴライズ、グルーピングのようなことを意味します。グループは特定の名称ではありません。Comprehend では数値の ID でグルーピングします。

Topic Modeling は S3 のドキュメント群を与えると 2つのファイルを生成します。

• 単語と Topic の関連付けた CSV ファイル
• 1行は Topic,Term,Weight の 3つの情報
• Topic はグループの ID
• Term はドキュメントから抽出された単語
• Weight は単語の重要度
• Topic とドキュメントの関連性評価した CSV ファイル
• 1行は Docname,Topic,Proportion の 3つの情報
• Docname はドキュメントのファイル名
• Topic は一つ目の CSV ファイルで抽出したグループの ID
• Proportion は関連度

サンプルから見る結果例

AWS が公開サンプルデータを S3（s3://public-sample-us-east-1/Sample.txt）に用意しています。このファイルには物理学や高調波など難しい用語の Wikipedia の内容が一行づつ格納されています。サイズは行数が 606、単語数が 117,949件含まれています。このデータを使って Topic Modeling します。設定はデフォルトのまま、10 の Topic に分類します。

結果からどのように分類されたか確認してみましょう。

まずは単語と Topic の関連付けた CSV ファイルです。一つ目の Topic は下記のような単語が分類されました。

topic,term,weight
000,cognitive,0.0508213
000,human,0.0181545
000,process,0.019357
000,cognition,0.0115279
000,brain,0.0101779
000,mental,0.00838119
000,style,0.00786231
000,refer,0.00849239
000,learn,0.0105929
000,loar,0.00621534

人や行動に関する単語が分類されている気がします。

二つ目の Topic は下記のような単語が分類されました。

001,model,0.0637164
001,size,0.0197475
001,year,0.0223847
001,chrysler,0.0183622
001,full,0.0177853
001,generation,0.0162592
001,seriar,0.0155608
001,chevrolet,0.0149851
001,cadillac,0.0128545
001,produce,0.0126167

こっちは車に関することがまとめられています！！こっちは分かりやすい！

もう一方のTopic とドキュメントの関連性評価した CSV ファイルも確認します。

docname,topic,proportion
Sample.txt:28,007,1.0
Sample.txt:63,006,1.0
Sample.txt:98,008,0.877854
Sample.txt:98,000,0.122146
Sample.txt:133,002,1.0
Sample.txt:168,000,1.0
Sample.txt:203,000,1.0
Sample.txt:238,000,1.0
Sample.txt:273,000,0.643693
Sample.txt:273,001,0.107316
Sample.txt:273,008,0.072461
Sample.txt:273,005,0.064356
Sample.txt:273,003,0.063804
<snip>
Sample.txt:560,001,1.0
<snip>

docnameにはファイル名:行数で一件一件のドキュメントを表しています。どうせならTopic 001にマッチするドキュメントを見てみましょう。本当に車に関係しているのでしょうか？サンプルデータの 560 行目です。

The Cadillac Ciel is a hybrid electric concept car created by Cadillac and unveiled at the 2011 Pebble Beach Concours d'Elegance. The Cadillac Ciel has a twin-turbocharged 3.6-liter direct injection V6 producing 425 horsepower and a hybrid system using lithium-ion battery technology. The Ciel is a four-seat convertible with a wheelbase of 125 inches. The concept car was developed at GM Design's North Hollywood Design Center.The Ciel comes with rear suicide doors, and the interior features a smooth wooden dashboard with a simple gauge look. The word "Ciel" is French for "sky"- which is what the designers had in mind when they made the vehicle.In 2012 and early 2013, Cadillac contemplated developing a production car based on the Ciel. However, in July 2013, they decided not to pursue the venture. At the 2013 Pebble Beach Concours d'Elegance, Cadillac unveiled a new concept, the Cadillac Elmiraj, which is similar in design to the Ciel, except it is a coupe. Both vehicle's were designed by Niki Smart.

おー、キャデラック・シエルの Wikipedia の内容ですね。間違いなく車のドキュメントです。

利用者はテストデータを与えることもなく、モデルを調整する必要がなく、ドキュメント群を渡すだけで分類してくれました。

まとめ

いかがでしょうか？ Comprehend は何やら面白そうなサービスですが、他のサービスと比べて、どこでどう活用するのか難しいサービスだな、と直感では感じました。もっと深掘りして色々なユースケースのブログを書いてみたいと思います。